[Airflow] Amazon MWAAのワーカーノードの同時実行数を調整する

こんにちは。サービス部の武田です。ワーカーノードあたりの同時実行数はworker_autoscaleを指定して制御できます。

#Amazon MWAA

#Apache Airflow

#AWS

武田隆志

2023.05.31

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

こんにちは。サービス部の武田です。

Apache Airflowを利用する上で同時実行性能の理解は重要です。以前こんなエントリを書きました。

基本的にはクラスター全体の実行性能を制御できます。

今回、「あるワーカーノードが実行できるタスクを制限したい」という要求が出てきました。背景としては、実行するタスクの消費リソースが多く、同時実行数を抑えたいというものです。上記のエントリで紹介している各パラメーターも、同時実行数を制御するものですが、今回のケースでは適していません。

今回の目的を達成できるパラメーターはcelery.worker_autoscaleです。これはまさしく、「ワーカーノードのタスク同時実行数」を指定するためのものです。

ちなみに、Amazon MWAAの各環境クラスのデフォルト値は次のようになっています。

環境クラス	CPU	メモリ	worker_autoscale
mw1.small	1	2	5,0
mw1.medium	2	4	10,0
mw1.large	4	8	20,0

基本的にスペックが倍になり、最大同時実行数も倍々になっていきます。celery.worker_autoscaleを指定することで、「mw1.mediumを使用し、最大同時実行数は5に抑える」といったことが可能になります。指定はmax_concurrency,min_concurrencyと、最大最小を指定します。5,5や5,0というように、最小は最大と同じまたは0を指定することが多いようです。